تابع هزینه حداقل میانگین مربعات توأم با حداقل واریانس خطا

Transcript

1 تابع هزینه حداقل میانگین مربعات توأم با حداقل واریانس خطا فریبا پاکیزه حاجی یار هادی صدوقی یزدی دانشجوی کارشناسی ارشدگروه کامپیوتر دانشکده مهندسی دانشگاه فردوسی مشهد ایران دانشیار گروه کامپیوتر دانشکده مهندسی دانشگاه فردوسی مشهد ایران چکیده حداقل میانگین مربعات خطا نقشی ضروری در یادگیری و مقبولیت سیستمهای عصبی ایفا میکند. با این وجود مقدار آنی خطای مدل به تنهایی نمیتواند حداکثر اطالعات را از صحت مدل تخمین زده شده یا طبقهبندی ساختار دادهها منتقل کند. در این مقاله تعمیمی از تابع هزینه مرسوم حداقل میانگین مربعات خطا معرفی کردهایم که ترم تنظیمکننده آن مبتنی بر حداقل واریانس خطا میباشد. نشان خواهیم داد که این تابع هزینه نیز جوابی شبیه به فرم وینر خواهد داشت و به خاطر ترم تنظیمکننده تابع هزینه جدید نسبت به نویز مقاومتر عمل میکند و شکل دادهها را بهتر در خود لحاظ مینماید. همچنین فرم بازگشتی LMSگونه تابع هزینه معرفی شده را بدست میآوریم تا بتوان از آن به صورت برخط استفاده نمود و سپس به حل انواع کرنلی آن میپردازیم. عملکرد این روشها را با دادههای مختلف در مسئله طبقهبندی بررسی خواهیم نمود. کلمات کلیدی میانگین مربعات خطا ( MSE (-حداقل واریانس- تابع هزینه- -LMS کرنل. -مقدمه تابع هزینه حداقل میانگین مربعات خطاروشی برای طبقه بندی در شناسایی الگو و رگرسیون است. به خاطر سادگیهای محاسبات و آنالیز در بررسی ساختار وفقی با یک نرون خطی اهمیت باالیی دارد. جواب بهینه که از معادله تابع هزینه حداقل میانگین مربعات خطاا به دست می آید منجر باه معاادالت وینار- هاو مای شاود. از معایب حداقل میانگین مربعات خطا عدم توجه آن باه رفتاار ناویز مدل شده در طول زمان و از دیگر معایب حساسیت باالی آن باه نمونههای نویزی میباشد. به این صورت که اگار در طبقاه بنادی داده ها از این تابع هزینه استفاده گردد نمونه هاای ناویزی باعا می شود نمونه ها به خوبی طبقه بندی نشاوند.. علای الخصاو وقتی که نویز ما غیر گوسی باشد. بنابراین باید راهی یافت که رفتار نویز را در طول زمان در نظر بگیرد که به کمک این سیستم وفقی رفتار داده ها در طول زمان به خوبی مدل می شود. بنابراین با یک نگاه وفقی و با شناخت نمونه های نویزی بر تاثیر این نمونه هادر طول زمان غلبه کرد. یکی از راههای غلبه بر این مسائل اضافه کردن یک ترم تنظیمکننده میباشد [,] می توان تابع هزینه را ابتدا به فضای ویژگی ببریم و سپس انواع مختلفی از ترم های تنظیم بسته به این که یادگیری با ناظر ] 3 ]یا شبه [ 7 ]ناظر 594

2 باشدرا به تابع هزینه اضافه کنیم. از طرفی اضافه نمودن ترم تنظیم به فرم کرنلی حداقل مربعات سبب ایجاد ارتباط تابع هزینه حداقل مربعات خطا با دیگر توابع هزینه می شود.[ 3]. این تابع هزینه جدید نسبت به نویز مقاوم تر می باشد. ترم تنظیم کننده که در این مقاله پیشنهاد می شود واریانس خطا می باشد.بنابراین تابع هزینه تعمیم یافتهای از حداقل میانگین مربعات خطا مبتنی بر حداقل واریانس خطا معرفی خواهیم کرد. در بخش بعد ابتدا به مرور مختصر حداقل میانگین مربعات خطا و حل وینر انجام می پزید و سپس تابع هزینهای تعمیمیافته از آن را معرفی خواهد شد. تابع هزینه جدید معرفی شده به همراه نوع بازگشتی و کرنلی آن در در بخش چهارم بیان میشوند. در بخش پنجم به مقایسه عملکرد این توابع در مسئله طبقهبندی خواهیم پرداخت و در بخش آخر به جمعبندی مطالب میپردازیم. - -مروری بر کارهای گذشته در این بخش به بررسی روش حداقل میانگین مربعاات خطاا برای طبقهبندی میپردازیم و نمونهای از توابع تعمیمیافته معرفای شده بر اساس آن را شرح میدهیم -مروری بر حداقل میانگین مربعات خطا به صورت { }, چنانچه خروجی بزرگتر از صفر باشد کالس و در صورت کوچکتر بودن از صفر کالس است. بنابراین خروجی در این مدل برابر خواهد بود با: y ˆ xˆ b ( با در نظر گرفتن روابط به صورت [ˆ رابطهی ( به شکل زیر b]', x [xˆ ]' ساده میشود: y x ( میخواهیم جواب بهینه با در نظر گرفتن تابع هزینه حداقل مربعات خطا به صورت رابطه 3( را بدست آوریم یعنی: که در آن y e d y مقدار خروجی و d مقدار مطلوب است. حال برای بدست آوردن مقدار بهینه از تابع هزینه نسبت به مشتق میگیریم که ثابت است و با استفاده از رابطه ( داریم: mn E{e } mn E{d x x d x } E{ } 0 {E{d } E{x x } E{d x }} 0 3( 4( با تعریف R ماتریس خودهمبستگی و P ماتریس همبستگی متقابل به صورت رابطه 5( و 6 ( جواب بهینه که معرو به وینر است رابطهی 7( به بدست میآید: R E{x x } 5( P E{d x } 6( * R P 7( شکل (: ساختار یک نرون ساده شکل ( یک نرون ساده را نشان میدهد که از آن میتوان برای مسئله طبقهبندی استفاده نمود. با در نظر گرفتن دو کالس در بخش بعد به معرفی تابع هزینه تعمیمیافتهای از MSE مبتنی بر حداقل میانگین مربعات خطای متوالی و حل آن خواهیم پرداخت. 595

3 U برای از بین بردن معایب تابع هزینه حداقل میانگین مربعات خطا تابع هزینه رابطه 8( مبتنی بر میانگین مربعات خطای متوالی معرفی شده است[ ] J( E{e } E{(e e } 8( انتظار داریم این تابع هزینه تغییرات خطا در طول زمان را به خوبی لحاظ کند و در برابر نویز مقاومت خوبی داشته باشد. با ساده کردن عبارت دوم خواهیم داشت: e e d x (d x d d (x x بنابراین تابع هزینه 8( به صورت رابطه ( در میآید: J( E{d } R P (E{(d d } R P R E{xx } P E{d x } R E{(x x (x x } P E{(d d (x x } که در آن داریم: برای بدست آوردن جواب بهینه از معادله ( نسبت به مشتق میگیریم: J 0 R P (R P 0 که جواب بهینه به فرم وینر این معادله به شکل رابطه 3( خواهد بود: * (R R (P P میتوان نشان داد با تعریف Q و V به صورت روابط -6(: - -تابع هزینه تعمیمیافته مبتنی بر میانگین مربعات خطای متوالی برای محاسبه ( می توان از رابطه Sherman- Morrson-Woodbury استفاده نمود. = - ( (= (- - (-U 8 و( (6 بدست ( Q( V( بهینه به صورت بازگشتی با رابطهی میآید [] همانطور که مشاهده میشود این تابع هزینه به صورت برخط قابل محاسبه است بنابراین نیاز نیست تمام نمونهها را از اول در حافظه داشته باشیم و مزیت این تابع هزینه به شمار میآید. توجه این تابع تنها به یک نمونه خطای متوالی باع میشود که چنانچه چند نمونه نویزی پشت سرهم داشته باشیم باز هم از هد دور شویم. 3 -تابع هزینه پیشنهادی حداقل میانگین مربعات توأم با حداقل واریانس خطا در این بخش به معرفی تابع هزینه جدید حداقل میانگین مربعات توأم با حداقل واریانس خطا و انواع بازگشتی و کرنلی آن میپردازیم. -تابع تعمیم یافته مبتنی بر واریانس خطا برای بهبود عملکرد در مقابل حداقل مربعات خطا تابع هزینه رابطه ( را معرفی میکنیم که عالوه بر میانگین مربعات خطاا واریانس خطا را نیز حداقل میکند. انتظار داریم با این کار بتاوانیم حساسیت سیستم نسبت به نمونههای نویزی را کنترل نماییم و تاا حدی اثر تغییرات خطا را در طول زمان لحاظ کنیم. باید توجه نمود که تابع هزینه پیشنهادی به جای در نظر گرفتن اخاتال خطاای متوالی از اختال خطا با میانگین خطاهای قبلی استفاده میکند و به همین دلیل از تابع هزینه قبلی کلیتر اسات و نسابت باه ناویز مقاومتر میباشد. J( E{e } Var{e} ( ( مشتق ( برای بدست آوردن جواب بهینه باید از عبارت بگیریم. ایتدا با توجه به تعریف واریانس داریم: - 3 ( Q R R, V P P Q( Q( (x x x x (x x V( ( V( ( [( dx dx dx ] 9( ( 3( 4( ( ( ( ( 596

4 e e e E{e} d x (d x (x x ( ابتدا میخواهیم تخمینی از گرادیان را بدست آوریم با در نظر گرفتن مقدار داخل امید به جای خود آن نسبت به مشتق می- گیریم: ˆ { e ( e e ( e e } e e ( e e ( e e e x ( e e ( x x حال با قراردادن رابطهی 9( به عنوان گرادیان وزنهای بازگشتی با استفاده از این تابع هزینه با رابطه زیر تعیین میگردند: W W { e x ( e e ( x x } اما باید بررسی کنیم که تخمین انجام شده آیا به مقدار واقعی گرادیان میل میکند یا خیر. برای این منظور ابتدا گرادیان واقعی را از رابطه 3( محاسبه میکنیم: J ( E { e } var( e 3( ( R P d R P 3( حال امید تخمین گرادیان بدست آمده در رابطهی 9( را با رابطه- ی 3( مقایسه میکنیم: E{ ˆ } E{ e x ( e e ( x x } E{ ( d x x ( x x ( x x } P R ( 3( Var{e} E{(e e(e e } e e e E{e} (x x d x (d x با باز کردن ترم اول خواهیم داشت: با استفاده از رابطه 3( رابطه ( به صورت زیر ساده میشود: Var{e} E{(e e(e e } E{ (x x (x x } E{(x x (x x } 4( همانطور که مالحظه میشود ماتریس کوواریانس داده ها در این عبارت دیده میشود.حال با استفاده از رابطه ( از رابطه مشتق میگیریم و با ثابت در نظر گرفتن mn E{e } Var{e} mn E{d xx dx } E{ } 0 R P 0 ( نسبت به داریم: از رابطه 5( جواب بهینه این تابع هزینه به شکل رابطه 6( بدست میآید: * (R P همانطور که مالحظه میکنید این جواب فرمی مشابه با جواب وینر دارد. تفاوت آن در ترم تنظیم کننده میباشد که ضریبی از کوواریانس دادهها را در خود دارد. -فرم LMSگونه تابع هزینه جدید RLMS( تابع هزینه جدید مبتنی بر واریانس خطا به شکل زیر تعریف شده است: J E{ e } var( e با یادآوری عبارت زیر به حل مسئله خواهیم پرداخت: همانطور که مشاهده میشود امید تخمین گرادیان به مقدار واقعی گرادیان میل میکند و بنابراین تخمین زده شده مناسب میباشد. انواع مختلفی از حاالت کرنلی تعمیمیافته MSE معرفی شدهاند. [],در بخش بعد ابتدا به مرور حالت کرنلی LMS می- ( 3( ( ( - 3 ( 597

5 - 3 -بدست آوردن فرم کرنلی مستقیم تابع هزینه جدید KRMSE( پردازیم.[ 4 ] و سپس به حل فرم کرنلی تابع هزینه جدید خواهیم پرداخت. -فرم کرنلی انواع توابع مبتنی بر LMS در این بخش ابتدا به مرور کلی از حالت کرنلی LMS میپردازیم و سپس به حل فرم کرنلی تابع هزینه جدید خواهیم پرداخت. مشابه بخش قبلی معادله بازگشتی حالت LMS تابع هزینه جدید را در فضای ویژگی بازنویسی میکنیم: { e ( x ( e e ( ( x E [ ( x ]} مشابه حالت قبل ابتدا تک تک وزنها را بدست میآوریم تا رابطه- ی کلی آنها بدست آید و امید را هم با میانگین تخمین میزنیم بنابراین داریم: 0 { e( x ( e e( ( x E [ ( x]} { e( x ( e e( ( x E [ ( x ]} ( { e ( x ( e e ( ( x ( x ]} 0 برای این که رابطه را به شکل کرنلی یافت باید به دنبال ضرب داخلی دو تا بردار از φ باشیم و ازطرفی می توان از پروژکت یکی از داده های تست استفاده کرد و رابطه را به شکل ضرب داخلی نوشت باتوجه به این که برای هر ورودی تست خروجی به کمک رابطهی زیر بدست میآید: y t ( x t { e ( x ( e e 0 ( ( x ( x } ( x t e K ( x, x t ( ( e e 0 0 4( e در { K ( x, xt K ( x, x t } 34( که در آن e d ( x و e 0 y t هر مرحله از مراحل پیشین بدست میآیند و قابل محاسبه -3 3 میباشد. برای اینکه تابع هزینه جدید را مستقیما در فضای ویژگی حل نماییم. ابتدا تابع هزینه را در فضای ویژگی بازنویسی میکنیم: J E { e } var( e ; e d 3( ( x برای این منظور ابتدا عبارت اول را باز میکنیم و امید را با میانگین اش تخمین میزنیم: E { e } d E { ( x ( x } e-e=e-e{e} E{ d ( x } d K ( x, x d ( x سپس برای باز کردن واریانس ابتدا داریم: =d- j(x-(d- j(x = =- (j(x - j(x = ˆ =- j(x که در آن داریم: ˆ( x ( ( x ( x Var ( e E{( e e ( e e } در ادامه واریانس را بازنویسی می کنیم یعنی: E{[ ˆ ( x ][ ˆ ( x ]} E{( ( x ( x ( ( x ( x j } j 3( { K ( x, x K ( x, x K ( x, x } j j 3( 3( که در آن C را به شکل زیر تعریف میکنیم: 3( 33( 598

6 5 C K ( x, x K ( x, x (, K x j x j که با جای گزین نمودن در تابع هزینه 35 ( در فضای ویژگی بدست میآید که برای بدست آوردن جواب بهینه از آن نسبت به W ثابت مشتق میگیریم تا W بهینه بدست آید: J 0 * ( K ( x, x C d ( x به نظر میآید که W قابل محاسبه نیست اما می توان از پروژکت یکی از داده های تست استفاده کرد.بنابراین ما به دنبال خروجی به ازای هر ورودی تست میباشیم بنابراین داریم: t t y ( x K x x C d K x x t ( (, (, که همانطور که مشاهده میشود y t قابل محاسبه میباشد. در این بخش به مقایساه عملکارد ایان ساه تاابع هزیناه در مسئلهی طبقهبندی خواهیم پرداخت. مجموعه دادههاای اساتفاده شده در این بخش به صورت دستی با تابع Samplegen.m در MALAB تولید شده است و این مجموعههای داده به عنوان دادههای آموزش برای طبقهبندی به کار گرفتاه شادهاناد. کاه در نتایج منظور از تابع هزینه اول MSE تابع هزینهی دوم تعمیم- یافته MSE با واریانس خطا و تابع هزیناهی ساوم تعمایمیافتاه MSE با میانگین مربعات خطای متوالی است. در مجموعهی داده دو داده هایی دارای کشیدگی داریم. با این کار همانطور که در شکل ( مشاهده میگردد روش اول و سوم با مشکل روبهرو میگردند و خط جدا کننده به مرز کالس بزرگتر چسبیده است اما تابع هزینه پیشنهادی به خوبی دو کالس را از هم تفکیک میکند. در مجموعه دادههای سه که در آن اثر نمونههای ناویزی در کالس دیگر را بررسی نمودهایم شکل 3 (. همانطور که مالحظاه میشود عملکرد سه روش شبیه به هم و قابل قبول میباشد. در مجموعه داده پنج اثر نمونههای نویزی با فاصلهی دور را بررسی نمودهایم. این نمونهها میانگین را به سمت خود میکشاانند و باع میشوند روش MSE دچار خطا شود. همانطاور کاه در شکل ( مالحظه میشود دو تابع هزینه دیگر به خوبی در مقابال این نویز مقاومت نشان دادهاند. ابتدا دو روش LMS یکی بر اساس MSE و دیگری بر اساس تابع هزینه معرفی شده مقایسه میشوند. شکل 5( عملکرد این دو تابع هزینه را برای مجموعهی دادهی دو نشان میدهد که در آن منظور از تابع هزینه اول MSE تابع هزینهی دوم تعمیمیافته MSE با واریانس خطا میباشد. همانطور که مالحظه میشود هر دو روش عملکرد مناسبی دارند.هر دو روش به خوبی دو کالس را جدا میکنند. در مجموعه دادههای سه اثر نمونههای نویزی در کالس دیگر را بررسی نمودهایم شکل 6(. همانطور که مالحظه میشود عملکرد دو روش شبیه به هم و قابل قبول میباشد. در مجموعه داده پنج اثر نمونههای نویزی با فاصلهی دور را بررسی نمودهایم. این نمونهها میانگین را به سمت خود میکشانند و باع میشوند روش LMS مبتنی بر MSE دچار خطا شود. همانطور که در شکل 7( مالحظه میشود تابع هزینه ما به خوبی در مقابل این نویز مقاومت نشان داده است. مجموعه داده شش کالسهایی غیرخطی را شامل میشود و هر دو روش در طبقهبندی اینگونه کالسها ناتوانند.شکل 8( اما در ادامه به بررسی عملکرد روشهای کرنلی میپردازیم و کار را با دادههای خطی شروع میکنیم. در نتایج منظور از روش اول KLMS روش دوم KRLMS و روش سوم KRMSE میباشد. در مجموعه داده پنج اثر نمونههای نویزی با فاصلهی دور را بررسی نمودهایم. این نمونهها میانگین را به سمت خود میکشانند و باع میشدند روش LMS مبتنی بر MSE دچار خطا شود اما همانطور که در شکل 9( مالحظه میشود روشهای کرنلی به خوبی در مقابل این نویز مقاومت نشان دادهاند. اما در بررسی دادههای غیر خطی مجموعه داده شش کالسهایی غیرخطی را شامل میشود و روشهای قبلی در طبقهبندی اینگونه کالسها ناتوان بودند اما هر سه روش به خوبی این دادهها را طبقهبندی کردهاند شکل (. همچنین عملکرد سه روش در برابر مجموعههای هفت در شکل (آمده است. همانطور که مالحظه میشود این سه روش برای طبقه- بندی دادههای غیر خطی مناسبند. -پیادهسازی و ارزیابی -نتیجهگیری در این مقاله به معرفی تابع هزینهی جدیدی براساس معیار MSE و با اضافه کردن ترم ضریب واریانس خطا پرداختیم. جواب بهینه بر اساس این تابع هزینه جدید را به فرمی مانند جواب وینر بدست آوردیم و عملکرد این تابع هزینه را با تابع هزینه MSE مرسوم و تابع هزینه معرفی شده در[ ] مبتنی بر میانگین 4( 4( 599

7 مربعات خطای متوالی در مسئله طبقهبندی بررسی نمودیم. با توجه به آزمایشات تابع هزینه جدید از MSEدر مقابل نویز مقاومتر است و اثر شکل دادهها را بهتر در خود لحاظ میکند مثال روی مجموعه داده دو(. تابع هزینه معرفی شده در [] به صورت بازگشاتی و بارخط حل شده است و مزیتی مهم برای آن به شمار میآیاد. در قسامت دوم این گزارش به بررسی بدست آوردن فرم بازگشتی تابع هزیناه معرفی شده خواهیم پرداخت. همچنین این توابع هزینه برای داده- های غیرخطی مناسب نمیباشند. بدست آوردن حال کرنلای تاابع هزینه معرفی شده هد دیگری است کاه در قسامت دوم باه آن خواهیم پرداخت. در این گزارش فرم LMSگونه تابع هزینه معرفیشده در قسمت اول این گزارش را بدست آوردیم. سپس انواع کرنلی مستقیم و برخط آن را بررسی نمودیم. عملکرد هر یک از روشها روی دادههای تولید شده و در مسئله طبقهبندی ارزیابی شد. صورت بازگشتی تابع هزینه معرفی شده نسبت به نویز مقاومتر از نوع MSE میباشد. همچنین انواع کرنلی آن در مسئله طبقه- بندی عملکرد مناسبی دارند. مسئله رگرسیون نسبت به طبقهبندی مسئلهای عامتر می- باشد چرا که خروجی مطلوب آن پیوسته میتواند باشد. بررسی عملکرد و مقایسهی سرعت همگرایی این توابع هزینه برخط در مسئله رگرسیون اهمیت بسزایی دارد در[ 3 ] به تحلیل رابطه ی تابع هزینه کرنلی میانگین مربعات خطاتنظیم شده با دیگر تابع هزینه پرداخته است از ارتباط میان فرم کرنلی تابع هزینه حداقل مربعات خطا و دیگر توابع هزینه برای رفع مشکالت توابع هزینه ی دیگر استفاده کرد[ 8 ]. همچنین می توان رابطه این تابع هزینه پیشنهادی را با دیگرتابع هزینه مقایسه نمود همچنین به تحلیل این سیستمها در مقابله با انواع نویزها موضوعی است که در تحقیقات بعد میتواند مورد توجه قرار گیرد. الف- تابع هزینه اول زمان اجرا= ب- تابع هزینه دوم با 00 زمان اجرا= 75 شکل - عملکرد سه تابع هزینه روی مجموعهی دادهی دو. ج - تابع هزینه سوم با زمان اجرا= 5 600

8 الف- تابع هزینه اول زمان اجرا= 3 ب- تابع هزینه دوم با 00 زمان اجرا= 68 شکل 3 - عملکرد سه تابع هزینه روی مجموعهی دادهی سه. ج - تابع هزینه سوم با زمان اجرا= 5 الف- تابع هزینه اول زمان اجرا= 33 ب- تابع هزینه دوم با 00 زمان اجرا= 5 ج - تابع هزینه سوم با زمان اجرا= شکل - عملکرد سه تابع هزینه روی مجموعهی دادهی پنج. الف- LMS با 0.04 زمان اجرا= ب- RLMS با 0.04 و 0.00 شکل 5- عملکرد دو تابع هزینه روی مجموعهی دادهی دو. زمان اجرا= 3 60

9 الف- LMS با 0.04 زمان اجرا= 3 شکل 6- عملکرد دو تابع هزینه روی مجموعهی دادهی سه. ب- RLMS با 0.04 و 0.00 زمان اجرا= الف- LMS با 0.04 زمان اجرا= 7 ب- RLMS با 0.04 و 0.00 شکل 7- عملکرد دو تابع هزینه روی مجموعهی دادهی پنج. زمان اجرا= 7 الف- LMS با 0.04 زمان اجرا= 3 شکل 8- عملکرد دو تابع هزینه روی مجموعهی دادهی شش. ب- RLMS با 0.04 و 0.00 زمان اجرا= 3 ب- KRLMS با 0. و 4.5 ج- KRMSE با 5 شکل 9 -عملکرد سه روش روی مجموعهی دادهی پنج. الف- KLMS با

10 ب- KRLMS با 0. و 4.5 ج- KRMSE با 5 الف- KLMS با 0.04 زمان اجرا= 63 زمان اجرا= 5 شکل - عملکرد سه روش روی مجموعهی دادهی شش. زمان اجرا= 3 ب- KRLMS با 0. و 4.5 ج- KRMSE با 5 الف- KLMS با زمان اجرا= 653 زمان اجرا= 6 شکل - عملکرد سه روش روی مجموعهی دادهی هفت. زمان اجرا= 3 W W e x ضمایم پیوست - مروری بر LMS روش LMS از مدتها پیش در سیستمهای وفقی مورد استفاده قرار میگرفته است. این روش که بر اساس تخمینی از مشتق عمل میکند به خاطر سادگی آن جایگاه خود را حفظ کرده است. رابطهی 3( اساس کار LMS میباشد: ˆ ˆ تخمین گرادیان میباشد. با در نظر که در آن گام حرکت و گرفتن J MSE به عنوان تابع هزینه و تخمین E{ e } آن با که در آن گام حرکت میباشد. میتوان نشان داد که این وزن به جواب بهینه وینر میل خواهد کرد. در بخش بعد فرم LMSگونه تابع هزینه جدید را بدست خواهیم آورد. سپس به حل انواع کرنلی آن میپردازیم. در ادامه به مقایسه عملکرد این توابع در مسئله طبقهبندی خواهیم پرداخت و در بخش آخر به جمعبندی مطالب میپردازیم. پیوست - مروری بر KLMS برای بررسی در فضای ویژگی ابتدا ورودی به فضای x بنابراین رابطهی ( x ویژگی برده میشود یعنی ( 6( به صورت زیر بازنویسی میشود: e ( x 4( 4( در ابتدا به نظر میرسد که این معادله قابل حل نیست اما اگر تک تک جمالت وزنها را بنویسیم خواهیم داشت: 43( e داریم: ˆ e e x 44( میتوان نشان داد که این مقدار تخمینی به مشتق مقدار Ee { میل میکند. با جایگذاری رابطهی ( در 3( وزن } بهینه به صورت بازگشتی تعیین میشود: 603

11 recognton School of Automaton, Huazhong Unversty of Scence and echnology, Wuhan , Chna, Opt 5 ( , 4 January 04 [8] Hyunsoo Km, Barry L. Drae, Member, IEEE, and Haesun Par Adaptve onlnear Dscrmnant Analyss by Regularzed Mnmum Squared Errors IEEE RASACIOS O KOWLEDGE AD DAA EGIEERIG, VOL. 8, O. 5, MAY e ( x e ( x ( e ( x 0 این معادله نیز هنوز قابل محاسبه نیست چون بعد فضای کرنل ممکن است بینهایت باشد. اما ما برای هر ورودی تست به مقدار خروجی آن نیاز داریم لذا میتوان نوشت: t t y ( x ( e ( x ( x 0 ( e K ( x, x 0 t t x K ( x, x ( x, ( و همان- t t y t 4( که در آن طور که مشاهده میشود مراحل پیشین و کرنلها میباشد قابل محاسبه بر حسب خطاهای 4( مراجع [] Erdogmus, D., Rao, Y.., Príncpe, J. C., Fontenla- Romero, O., & Alonso-Betanzos, A., Recursve Least Squares for an Entropy Regularzed MSE Cost Functon, n ESA, Aprl 003, pp [] Xu, Jan-hua, and Xue-gong Zhang, Regularzed Kernel Forms of Mnmum Squared Error Method, Fronters of Electrcal and Electronc Engneerng n Chna., pp. -7, 006. [3] Janhua Xu, Xuegong Zhang, and Yanda L ernel MSE Algorthm :A Unfed Frameor for KFD,LSSVM,and KRR 00 IEEE [4] Lu, Wefeng, Pusal P. Poharel, and Jose C. Prncpe, he ernel least-mean-square algorthm, IEEE ransactons on Sgnal Processng, pp , 008. [5] Poharel, Pusal P., Wefeng Lu, and Jose C. Prncpe, Kernel LMS, n IEEE Internatonal Conference on Acoustcs, Speech and Sgnal Processng, 007, ICASSP 007, Vol. 3., pp. III- 4. [6] Modaghegh, H., Javd, M., Sadogh Yazd, H., and Pourreza, H. R., Learnng of Relevance Feedbac Usng a ovel Kernel Based eural etor, Australan Journal of Bascand Appled Scences 4, 00. [7] Hatao Gan Laplacan regularzed ernel mnmum squared error and tsapplcaton to face 604